[レポート]Storage Gatewayを使用してハイブリッドクラウドストレージアーキテクチャを構築する #reinvent

こんにちは。池田です。本記事は現地時間2018/11/26-30で行われたre:Invent 2018のセミナーセッション STG305-R - [REPEAT] Deep Dive: Build Hybrid Cloud Storage Architectures with Storage Gateway（和訳：ストレージゲートウェイを使用してハイブリッドクラウドストレージアーキテクチャを構築する）のレポートです。（誤操作で記事を削除してしまったので再投稿です...）
発表資料は既に公開されていますが、筆者が参加したリピートセッションとは若干内容が異なるようです。当日メモしたものと照らし合わせつつ発表された情報についてご紹介したいと思います。

セッション概要

IT infrastructure teams with on-premises applications have to manage storage arrays throughout their never-ending lifecycle, including capacity planning guesswork, hardware failures, system migrations, and more. There are cloud-enabled alternatives to buying more and more storage arrays. With AWS Storage Gateway, you can start using Amazon S3, Amazon Glacier, and Amazon EBS in hybrid architectures with on-premises applications for storage, backup, disaster recovery, tiered storage, hybrid data lakes, and ML. In this session, learn how to use AWS Storage Gateway to seamlessly connect your applications to AWS storage services with familiar block-and-file storage protocols and a local cache for fast access to hot data. We demonstrate our latest capabilities and share best practices from experienced customers.

会場は THE MIRAGE EVENTS CENTER でした。

登壇者

Paul Reed - Principal Product Manager, Amazon Web Services
Asa Kalavade - General Manager, AWS
Craig Bona - Senior Director, Platform Engineering, CME Group
Rick Fath - Senior Director Cloud Architecture, CME Group

セッションレポート

前半は、SlideShareにあるためここでは省略しますが AWS Strage Gateway の概要やその歴史、2017年のre:Invent以降にリリースされた機能などから始まりました。その後、それぞれの Gateway サービスが持つ特徴の紹介とユースケースの紹介になったのですが、唐突にサラッとアップデート情報の紹介がありましたw

まず File Gateway

下の方にさりげなく NEW のアイコンがついて「Refresh cache by prefix」と「Perfomance increase」が記載されていました。が、セッション内ではあまり深く言及されていませんでした。
ドキュメントを確認しましたが、「Refresh cache by prefix」について言及されているものを見つけられませんでした。RefreshCache 操作において対象とするオブジェクトを Prefix によって指定できるようになったということでしょうか。この認識で正しければ全てのオブジェクトを対象としないで済むこととなり、リフレッシュ完了までの時間も短縮できる嬉しいアップデートだと思います。ドキュメントの確認が出来次第記載内容を更新したいと思います。
「Perfomance increase」についてはパフォーマンスの向上が図られたということになります。

＜追記＞
キャッシュのリフレッシュ操作をやってみた記事が公開されていましたのでご紹介します。

[StorageGateway]明示的にキャッシュをクリアする機能等が追加されました

続いて Tape Gateway

こちらもサラッとした紹介だった印象がありますが、 IBM Spectrum Protect Bacula への対応とクライアントにおけるパフォーマンス向上についての発表がありました。

アクティブデータのオンライン転送とAmazon S3へのマネージドファイル転送についてもこれまたさりげなく発表されていました。

公開されている資料では中盤からシリアル食品などで有名なKellogg's社での事例が紹介されていますが、筆者が参加した回はデリバティブ取引所運営会社CMEグループでの事例が3つ紹介されました。

1つめはdistribution with Public Web and FTP Sites

CMEグループのオンプレミス環境とAWS環境にあるコアシステムをDirect Connectで接続、さらにコアシステムはクロスアカウントを利用して別のAWS環境に構築されたWebシステムとデータを共有。WebシステムにはユーザがFTPによるデータのアップロードが可能としつつもコアシステムは公開領域から隔離した構成が紹介されました。

2つめはhistorical and ongoing data migration to Amazon S3

これは過去10年以上に渡ってオンプレミス環境に蓄積されたデータをS3へ一括で移行させた事例でした。AWS Storage Gatewayを利用し、Direct Connectを経由してS3へデータを転送しています。

3つめはdata dissemination in hybrid environment

ハイブリッド環境に保管されたデータをオンプレミス環境に配置された様々なアプリケーションで利用する事例です。こちらもAWS Storage GatewayとDirect Connectを利用しています。AWS Storage Gatewayのキャッシュを利用して読み取り処理の最適化が図られています。

まとめ

CMEグループでの事例以降で紹介されていたAWS Storage Gatewayに関する情報やベストプラクティスについては基本的に大きな変更などはなく、改めてAWSがオススメする構成や使い方などをおさらいしていたように感じました。筆者の拙い語学力でのメモよりもわかりやすい日本語の資料が無いか探してみましたところ、下記のAWS Solutions Architect ブログ記事で紹介されているスライド資料と記事内に記載されているQ&Aが、AWS Storage Gatewayの理解を深めるにはわかりやすいように感じましたのでご紹介します。
AWS Black Belt Online Seminar「AWS Storage Gateway」資料およびQA公開
各サービスについて、AWSが想定している使い方と自身が期待する使い方や機能について、ベストプラクティスなどと照らし合わせて目的や想定にマッチしているかを確認しつつ利用していくことが、挙動確認や設定の手間、利用料金を含めて幸せになれるのかな。と思います。